2024 禁止 AI 爬蟲懶人包，推薦清單整理

2023年8月8日 — AI模型的升级依靠海量的公开数据，而科技公司大多通过网络爬虫来获取用户数据。但这个过程并不一定被用户、网站所有者所允许。 8月8日，OpenAI推出了一款 ...

如何禁止GPTBot 爬蟲爬你的網站資料???????? 大家都知道目前ChatGPT 的資料只到2021 年9 月，但自從2022 年底推出後，也大半年了，再不更新資料實在說不過去。

2023年8月25日 — ... 禁止網路爬蟲 ... 紐時公司發言人說，該網站服務約定條款最近更新，「更清楚表明禁止抓取我們的內容，用於AI訓練和開發」。

2023年8月8日 — OpenAI 作為AI 技術的領先者，現在也遇到越來越多取得訓練才聊方面的爭議。為了回應資料隱私和版權等議題，OpenAI 近期啟動了新功能，允許網站操作者 ...

2023年8月15日 — 更新後的條款還明確規定，未經出版物書面許可，不得使用設計用於使用、訪問或收集此類內容的自動化工具，例如網站爬蟲。紐約時報表示，拒絕遵守這些新限制 ...

2023年10月1日 — ... 禁止一些機器人未經知會的自動爬蟲、非經作者同意剽竊內容去訓練AI的功能。 如此措施施行能保障這些創作者的文字都有被使用前尊重的重視，甚至是有 ...

2023年8月8日 — OpenAI 指出，網路營運商現在可以明確禁止其GPTBot 爬蟲程式出現在網站的Robots.txt 文件上、直接阻止其IP 位址或自定義可被爬蟲的部分或者GPTBot 的 ...

2023年10月9日 — BBC禁止AI業者以訓練模型目的利用爬蟲技術擷取其網路內容，但這家英國新聞龍頭也有意藉由生成式AI發展新應用，不排除與AI業者商談合作.

今日（8月22日）消息，《纽约时报》已经屏蔽了OpenAI的网络爬虫，这意味着OpenAI不能使用该出版物的内容来训练其人工智能模型。

2023年8月22日 — ... 禁止其內容，包括文本、照片、圖像、音頻／影片、外觀和感覺、後設資料或合集，被用於開發「任何軟體程式，包括但不限於訓練機器學習或AI系統」。更新 ...